พระครูขันตยาคม (อิ่ม) เกิดเมื่อปีพ.ศ.2389 ที่บ้านคลองมะขาม ตำบลหัวลิง ปัจจุบันเป็นตำบลอ่างแก้ว อำเภอโพธิ์ทอง จังหวัดอ่างทอง ท่านเป็นบุตรของคุณทวดอ่ำ และคุณทวดอำแดงขอม เมื่อตอนวัยเด็กได้เรียนหนังสืออยู่ที่วัดจุฬามณี บ้านคลองหงส์ อยู่กับหลวงลุงของท่านซึ่งเป็นเจ้าอาวาสวัดแห่งนี้ จนอ่านออกเขียนได้ทั้งภาษาไทยและขอม แถมด้วยวิชาคงกระพัน และวิทยาคมต่างๆ จากหลวงลุงของท่าน
พออายุได้ 16 ปีท่านมักจะถือกระบองเป็นอาวุธประจำกาย ท่านไม่ทำร้ายใคร เพียงแต่ชอบท้าพวกนักเลงหัวไม้เอากันพอเลือดออกเป็นยางบอนแล้วเลิกรากัน พอรู้แพ้รู้ชนะ มีคนร่ำลือและเชื่อถือในฝีมือไปหลายคุ้งน้ำ หลวงลุงของท่านก็อดเป็นห่วงไม่ได้ ในปีพ.ศ.2405 จึงให้บรรพชาเป็นสามเณรเสีย และจำพรรษาอยู่ที่วัดจุฬามณี ท่านก็ได้ช่วยหลวงลุงของท่านตีเหล็กทำเครื่องไม้เครื่องมือต่างๆ ท่านเป็นผู้ขยัน และหมั่นเพียร มีเมตตากรุณาสูง ชอบช่วยเหลือผู้ตกทุกข์ได้ยากอยู่เสมอ จนสามเณรอิ่มเป็นที่เคารพนับถือของชาวบ้านกันทั้งบาง
ต่อมาเมื่อท่านมีอายุครบบวช หลวงลุงของท่านรู้จักมักคุ้นกับท่านเจ้าอาวาสวัดเขมาภิรตาราม นนทบุรี จึงนำท่านมาฝากเล่าเรียนบาลีและพระปริยัติต่อ และอุปสมบทที่วัดแห่งนี้ พระอุปัชฌาย์และพระอาจารย์คู่สวดนั้นสืบค้นประวัติไม่ได้ว่าเป็นใคร หลวงปู่อิ่มอยู่จำพรรษาและศึกษาอยู่ที่วัดเขมาฯ อยู่ระยะหนึ่งจึงได้ย้ายเข้ามาจำพรรษาอยู่ที่วัดกันมายุตาราม กทม. และได้สนิทสนมกับท่านเจ้าคุณพระอมราภิรักขิต (เจริญ) ญาณวโร
ต่อมาหลวงปู่อิ่มจึงได้รับพระราชทานแต่งตั้งเป็นพระครูสัญญาบัตร ที่พระครูขันตยาคม ท่านได้จำพรรษาอยู่ที่วัดแห่งนี้อีกหลายพรรษา จนในปีพ.ศ.2441 วัดเทพศิรินทราวาสได้ว่างเจ้าอาวาสลง ท่านเจ้าคุณอมราภิรักขิต (เจริญ) จึงได้รับแต่งตั้งให้มาดำรงตำแหน่งเจ้าอาวาสวัดเทพศิรินทราวาส
และในปีนั้นเองท่านเจ้าคุณอมราภิรักขิต (เจริญ) ได้อาราธนาหลวงปู่อิ่มให้ย้ายมาจำพรรษาอยู่ที่วัดเทพศิรินทร์ และกาลต่อมาท่านเจ้าคุณอมราภิรักขิต (เจริญ) ท่านก็ได้พระราชทานสถาปนาขึ้นเป็นสมเด็จพระราชาคณะ ที่สมเด็จพระพุทธโฆษาจารย์ (เจริญ) หลวงปู่อิ่มจำพรรษาอยู่ที่วัดเทพศิรินทร์ได้ 6 พรรษา ญาติโยมของหลวงปู่จึงอาราธนาหลวงปู่ให้ย้ายกลับมาสู่ภูมิลำเนาเดิม ท่านจึงได้มาจำพรรษาอยู่ที่วัดโพธิ์เกรียบ ฝั่งตรงข้ามกับบ้านญาติโยมของท่าน หลังจากนั้นท่านก็คิดว่าจะสร้างวัดธรรมยุตขึ้น ณ ฝั่งที่ญาติโยมของท่านอาศัยอยู่ ได้ออกบิณฑบาตแถวบ้านห้วยลิง
และได้แวะ ณ ที่แห่งหนึ่ง เป็นดงสะแก บรรยากาศดี มีกระต่ายป่าวิ่งลัดเลาะอยู่ ท่านเดินเรื่อยมาก็เห็นว่าร่มรื่นภายใต้ต้นยางกับต้นตาล ท่านจึงปูผ้านั่งฉันเช้า เศษอาหารที่เหลือท่านก็ได้เอากองไว้ เจ้ากระต่ายก็มากิน และมีชาวบ้านกลุ่มหนึ่งเข้ามาสนทนากับหลวงปู่อิ่ม ท่านจึงบอกความประสงค์ที่จะสร้างวัดให้ญาติโยมทราบ ต่อมาอีกไม่นานปรากฏว่ามีญาติโยมมาถวายที่ดินหลายแปลง กราบนมัสการหลวงปู่และช่วยกันสร้างเพิงพักให้ท่าน
ท่านก็เลยพำนักอยู่ ณ ที่ตรงนั้น ตั้งแต่ปีพ.ศ.2446 เป็นต้นมา พวกชาวบ้านก็ได้ร่วมมือกันสร้างวัด บ้างก็รื้อเรือนมาถวายให้สร้างกุฏิให้พระเณรได้อยู่จำพรรษา นำลูกหลานมาบวช ท่านก็พาไปบวชที่วัดเทพศิรินทร์ อีก 3 ปีต่อมาก็กลายเป็นวัด ชาวบ้านมักเรียกขานกันว่าวัดดอนกระต่ายบ้าง
เนื่องจากมีกระต่ายป่าชุกชุม บ้างก็เรียกวัดสลักแกง บ้างก็เรียกวัดศีลขันธ์ เพราะเป็นที่อยู่ของผู้ทรงศีลและไปคล้องกับนามของหลวงปู่ คือ พระครูขันตยาคม ความศรัทธาในหลวงปู่ทวีขึ้นโดยลำดับ มีพระภิกษุสามเณรมากขึ้น และในปีพ.ศ.2449 วัดแห่งนี้ก็ได้รับพระราชทานวิสุงคามสีมา นามว่าวัดศีลขันธาราม
หลวงปู่อิ่มท่านมรณภาพในปีพ.ศ.2469 สิริอายุได้ 80 ปี พรรษาที่ 60 ประชุมเพลิงในปีพ.ศ.2470